Năm 1887, ông kết hôn với Alice Edith Cohen, người bị khuyết tật cơ thể mãn tính và chết vì bệnh ung thư vào năm 1930, sau hơn 40 năm chung sống. Bệnh viện Lady Reading ở Peshawar, Pakistan được đặt theo tên của bà.

Sau đó, ông kết hôn với Stella Charnaud, thư ký đầu tiên của người vợ quá cố của ông. Cuộc hôn nhân thứ hai kéo dài cho đến khi ông qua đời vào năm 1935.

Lãnh chúa Reading chỉ có một người con trai duy nhất với người vợ đầu, đó là Gerald Isaacs, Hầu tước thứ 2 của Reading. Người con này của ông từng giữ chức Bộ trưởng Ngoại giao trong Nội các của Thủ tướng Winston Churchill từ năm 1953 đến năm 1957.